During X-ray computed tomography (CT) scanning, metallic implants carrying with patients often lead to adverse artifacts in the captured CT images and then impair the clinical treatment. Against this metal artifact reduction (MAR) task, the existing deep-learning-based methods have gained promising reconstruction performance. Nevertheless, there is still some room for further improvement of MAR performance and generalization ability, since some important prior knowledge underlying this specific task has not been fully exploited. Hereby, in this paper, we carefully analyze the characteristics of metal artifacts and propose an orientation-shared convolution representation strategy to adapt the physical prior structures of artifacts, i.e., rotationally symmetrical streaking patterns. The proposed method rationally adopts Fourier-series-expansion-based filter parametrization in artifact modeling, which can better separate artifacts from anatomical tissues and boost the model generalizability. Comprehensive experiments executed on synthesized and clinical datasets show the superiority of our method in detail preservation beyond the current representative MAR methods. Code will be available at \url{https://github.com/hongwang01/OSCNet}
translated by 谷歌翻译
The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.
translated by 谷歌翻译
尽管目前基于深度学习的方法在盲目的单图像超分辨率(SISR)任务中已获得了有希望的表现,但其中大多数主要集中在启发式上构建多样化的网络体系结构,并更少强调对Blur之间的物理发电机制的明确嵌入内核和高分辨率(HR)图像。为了减轻这个问题,我们提出了一个模型驱动的深神经网络,称为blind SISR。具体而言,为了解决经典的SISR模型,我们提出了一种简单的效果迭代算法。然后,通过将所涉及的迭代步骤展开到相应的网络模块中,我们自然构建了KXNET。所提出的KXNET的主要特异性是整个学习过程与此SISR任务的固有物理机制完全合理地集成在一起。因此,学习的模糊内核具有清晰的物理模式,并且模糊内核和HR图像之间的相互迭代过程可以很好地指导KXNET沿正确的方向发展。关于合成和真实数据的广泛实验很好地证明了我们方法的卓越准确性和一般性超出了当前代表性的最先进的盲目SISR方法。代码可在:\ url {https://github.com/jiahong-fu/kxnet}中获得。
translated by 谷歌翻译
机器学习模型在许多领域都表现出了有希望的表现。但是,担心他们可能会偏向特定的群体,阻碍了他们在高级申请中的采用。因此,必须确保机器学习模型中的公平性。以前的大多数努力都需要访问敏感属性以减轻偏见。尽管如此,由于人们对隐私和法律依从性的认识日益增加,获得具有敏感属性的大规模数据通常是不可行的。因此,一个重要的研究问题是如何在隐私下做出公平的预测?在本文中,我们研究了半私人环境中公平分类的新问题,其中大多数敏感属性都是私有的,只有少量的干净敏感属性可用。为此,我们提出了一个新颖的框架Fairsp,可以首先学会通过利用有限的清洁敏感属性来纠正隐私保证下的嘈杂敏感属性。然后,它以对抗性方式共同建模校正和清洁数据以进行歧义和预测。理论分析表明,当大多数敏感属性都是私有的时,提出的模型可以确保公平。现实世界数据集的实验结果证明了所提出的模型在隐私下做出公平预测并保持高精度的有效性。
translated by 谷歌翻译
我们通过可共享的手臂设置概括了多武器的多臂土匪(MP-MAB)问题,其中几场比赛可以共享同一臂。此外,每个可共享的组都有有限的奖励能力和“每载”奖励分配,这两者都是学习者所不知道的。可共享臂的奖励取决于负载,这是“每载”奖励乘以拉动手臂的戏剧数量或当比赛数量超过容量限制时的奖励能力。当“按负载”奖励遵循高斯分布时,我们证明了样本复杂性的下限,从负载依赖的奖励中学习容量,也遗憾的是这个新的MP-MAB问题的下限。我们设计了一个容量估计器,其样品复杂性上限在奖励手段和能力方面与下限匹配。我们还提出了一种在线学习算法来解决该问题并证明其遗憾的上限。这个遗憾的上界的第一任期与遗憾的下限相同,其第二和第三个术语显然也对应于下边界。广泛的实验验证了我们算法的性能以及其在5G和4G基站选择中的增长。
translated by 谷歌翻译
联合学习(FL)是以隐私性的方式从分散数据培训全球模型的重要范例。现有的FL方法通常假定可以对任何参与客户端进行培训。但是,在实际应用中,客户的设备通常是异质的,并且具有不同的计算能力。尽管像伯特这样的大型模型在AI中取得了巨大的成功,但很难将它们应用于弱客户的异质FL。直接的解决方案(例如删除弱客户端或使用小型模型适合所有客户端)将带来一些问题,例如由于数据丢失或有限的模型表示能力而导致的掉落客户端的代表性不足和劣等精度。在这项工作中,我们提出了一种包含客户的联合学习方法,以解决此问题。包容性FL的核心思想是将不同尺寸的模型分配给具有不同计算功能的客户,为功能强大的客户提供的较大模型以及针对弱客户的较小客户。我们还提出了一种有效的方法,可以在多个具有不同大小的本地模型之间共享知识。这样,所有客户都可以参与FL中的模型学习,最终模型可以足够大。此外,我们提出了一种动量知识蒸馏方法,以更好地转移强大客户的大型模型中的知识,向弱客户的小型模型。在许多实际基准数据集上进行的广泛实验证明了该方法在FL框架下使用异质设备的客户学习准确模型的有效性。
translated by 谷歌翻译
零射击学习(ZSL)通过将语义知识转移到看不见者的语义知识来解决新的类识别问题。通过单独使用单向关注,现有的基于关注的模型在单个图像中努力学习劣势区域特征,这忽略了视觉特征的可转换性和辨别属性定位。在本文中,我们提出了一个跨属性引导的变换器网络,称为Transzero ++,以改进可视化功能,并学习精确的属性本地化,用于ZSL中的语义增强的可视嵌入表示。 Transzero ++由Attribute $ \ LightArrow $ Visual Transformer子网(AVT)和Visual $ \ LightArrow $属性变压器子网(增值税)组成。具体而言,AVT首先采用功能增强编码器来缓解交叉数据集问题,并通过减少区域特征之间的缠绕的相对几何关系来提高视觉特征的可转换性。然后,使用属性$ \ lightArrow $可视解码器来本地化与基于属性的可视特征表示的给定图像中的每个属性最相关的图像区域。类似地,VAT使用类似的功能增强编码器来改进视觉功能,这些功能进一步应用于Visual $ \ lightarrow $属性解码器,以学习基于Visual-基的属性功能。通过进一步引入语义协作损失,两个属性引导的变压器通过语义协作学习互相教导学习语义增强的视觉嵌入。广泛的实验表明,Transzero ++在三个挑战ZSL基准上实现了新的最先进的结果。该代码可用于:\ url {https://github.com/shiming-chen/transzero_pp}。
translated by 谷歌翻译
零射门学习(ZSL)旨在通过将语义知识从看见课程转移到看不见者来识别新颖的课程。从不同类别之间共享的属性描述中学到的语义知识,该属性描述是用于本地化代表歧视区域特征的对象属性的强子指数,从而实现了显着的视觉语义交互。尽管基于注意的模型已经尝试学习单个图像中的这种区域特征,但是通常忽略视觉特征的可转换性和辨别性属性定位。在本文中,我们提出了一个属性引导的变压器网络,称为Transzero,以改进视觉特征,并在ZSL中鉴定鉴别的视觉嵌入表示。具体而言,Transzero采用特征增强编码器来缓解想象集和ZSL基准之间的交叉数据集偏压,并通过减少区域特征之间的缠结的相对几何关系来提高视觉特征的可转换性。为了学习地区增强的可视功能,Transzero使用视觉语义解码器来在语义属性信息的指导下本地化与给定图像中的每个属性最相关的图像区域。然后,用于在视觉语义嵌入网络中进行有效的视觉语义交互来实现局部增强的视觉特征和语义向量。广泛的实验表明,Transzero在三个ZSL基准上实现了新的最新状态。该代码可用于:\ url {https://github.com/shiming-chen/transzero}。
translated by 谷歌翻译
活动相机是一种与传统摄像机不同的新型传感器。每个像素通过事件异步触发。触发事件是在像素上照射的亮度的变化。如果亮度的增量或衰减高于某个阈值,则输出事件。与传统相机相比,活动相机具有高动态范围和运动模糊的优点。将事件累积到帧和使用传统的SLAM算法是一种基于事件的SLAM的直接和有效的方法。不同的事件累加器设置,例如事件流的切片方法,没有动作的处理方法,使用极性,衰减功能和事件贡献,可能导致相当不同的累积结果。我们对如何累积事件帧进行研究以实现更好的基于事件的SLAM性能。对于实验验证,累积的事件帧被馈送到传统的SLAM系统以构建基于事件的SLAM系统。我们的设置事件累加器的策略已在公共数据集上进行评估。实验结果表明,与基于最先进的事件帧的SLAM算法相比,我们的方法可以在大多数序列中实现更好的性能。此外,所提出的方法已经在四轮车UAV上进行了测试,以显示实际方案中的应用程序。代码和结果是开放的,以使事件摄像机的研究界受益
translated by 谷歌翻译
AI正在经历范式转变,随着模型的兴起(例如Bert,Dall-E,GPT-3),这些模型经过大规模的数据训练,并且可以适应广泛的下游任务。我们称这些模型基础模型来强调其至关重要但不完整的特征。该报告提供了基础模型的机会和风险的详尽说明,包括其功能(例如语言,愿景,机器人技术,推理,人类互动)和技术原则(例如,模型架构,培训程序,数据,系统,安全,安全性,评估,理论)对其应用(例如法律,医疗保健,教育)和社会影响(例如不平等,滥用,经济和环境影响,法律和道德考虑)。尽管基础模型基于标准的深度学习和转移学习,但它们的规模导致了新的新兴能力,以及它们在许多任务中的有效性都激发了同质化。同质化提供了强大的杠杆作用,但要求谨慎,因为基础模型的缺陷均由下游的所有适应模型继承。尽管即将广泛地部署基础模型,但我们目前对它们的工作方式,失败以及由于其新兴属性的影响而缺乏清晰的了解。为了解决这些问题,我们认为基础模型的许多批判性研究都需要与他们的基本社会技术性质相称。
translated by 谷歌翻译